MRVQ: One Resident Index for Dimension- and Rate-Elastic Vector Search
MRVQ:面向维度与速率弹性的单一驻留向量索引
🧭 向量检索 · 弹性量化索引 ★ 深度解读
Atlassian · National Taiwan University
用一个残差量化索引通过残差阶段和坐标前缀两种截断,同时服务多种维度与码率,大幅节省驻留内存
📌 工作参考价值(4 点)
- 在需要同时支持多 embedding 维度(Matryoshka prefix)和多压缩率(4/8/16 B/vector)的召回/检索场景,可用单个残差量化器替代每个配置存一套索引:训练时对多个前缀维度加权重建误差,服务时用 stage 前缀控制码率、坐标前缀控制维度,大幅减少内存和部署复杂度。
- 工程实现上,残差量化 stage 天然提供嵌套码长:只存最大码(本文为 16 B/vector),解码时截断前 b stages 即可得到低码率版本;query 保持 floating point 不对称打分,容易接入 Faiss 等现有 PQ/OPQ 检索链路。
- 对商品库更新快、需要频繁重建索引的电商/多租户场景,PCA-scalar 方案(PCA 旋转 + 按方差分配标量位 + 逐坐标量化)质量与 RaBitQ 相当,但拟合速度中位数快 420 倍,适合近实时构建。
- 注意两个负面结论:高 rate 下 QINCo2 可能训练 collapse,若复现需做稳定性处理;基于 residual energy 的 ranking bound 预测未达标,不能用于质量保证。